LRanker: LLM Ranker for Massive Candidates
LRanker:面向大规模候选的LLM排序框架
🧭 LLM驱动的超大规模候选排序 ★ 深度解读
University of Illinois Urbana-Champaign · Meta Monetization AI
通过聚合候选全局信息和多嵌入集成,使LLM排序扩展到百万级候选并大幅提升效果
📌 工作参考价值(4 点)
- 全局候选信息注入:利用K-means对候选嵌入聚类,将质心通过可学习投影器注入LLM作为软提示,使查询表示条件于全局候选分布,适合电商/推荐中候选集巨大的场景,可提升粗排/精排的相关性。
- 图测试时缩放:在推理时迭代分区候选集、保留高分段、重新计算查询嵌入并平均集成,以多视角增强排序鲁棒性;该方法轻量、可插拔,能与现有嵌入排序模型结合,用于线上打分增强。
- 训练鲁棒性强化:训练时随机分区采样不同候选子集计算损失,使查询表示对不同候选规模不敏感,适合动态候选池或A/B测试环境。
- LoRA高效微调:只对注意力层和FFN添加低秩适配,保持LLM基础能力的同时快速适应排序任务,便于在已有基座模型上构建推荐/搜索排序器。